반사 제거

  • 이미지 반사 제거

유리를 통해 촬영된 영상은 종종 원하는 투과 영상과 원하지 않는 반사 영상을 함께 나타낸다. 본 논문에서는 다른 카메라 위치에서 촬영한 다수의 유리 영상을 이용하여 자동으로 반사를 제거하는 최적화 문제를 제안한다. 먼저 다수의 유리 영상을 하나의 참조 유리 영상으로 워핑한다. 워핑된 영상들에서 그라디언트는 투과 영상에서 일관되는 반면 반사 영상에서는 다양하게 변한다. 이러한 관찰에 기초하여, 투과 영상에서 강한 에지의 픽셀은 높은 값을 갖고 반사 영상의 픽셀에는 낮은 값을 갖는 신뢰성을 정의 및 계산한다. 그리고 그라디언트 영역에서 제안된 최적화 문제를 해결하여 반사 영상의 그라디언트를 억제하고 투과 영상의 그라디언트만 유지한다. 끝으로, 추정한 투과 영상의 최적의 그래디언트 맵을 사용하여 원본 투과 영상을 복구한다. 실험 결과는 제안 알고리즘이 유리 영상에서 반사 아티팩트를 충실하게 제거하고 기존 알고리즘보다 우수함을 보인다.

  • 딥러닝 기반 이미지 반사 제거

유리 평면을 통해 촬영된 영상은 보통 유리 평면 뒤에 투과된 목표 장면과 유리 평면 앞에 반사된 장면을 모두 포함하고 있다. 우리는 하나의 유리 영상에서 반사 아티팩트를 제거하기 위해 의미론적 맥락을 활용한 네트워크를 제안한다. 보다 현실적인 학습 셋을 합성하기 위해 유리 영상 강도(intensity)에 대한 비선형적 매핑 관계를 조사한다. 그 후, 다중 스케일의 generator와 interpreter를 이용하여 효율적인 반사 제거 네트워크를 고안하는데, 여기서 interpreter는 투과 영상의 의미적 맥락을 제공하여 올바른 generator 학습을 유도한다. 우리는 또한 ground truth 투과 및 반사 영상을 포함하는 실제 유리 영상의 새로운 테스트 데이터 셋을 제공한다. 총 4개의 테스트 데이터 셋에서 수행한 실험 결과는 제안된 알고리즘이 최신 기법들에 비해 더 우수함을 보인다.

 

  • 360도 영상 반사 제거

기존의 반사 제거 방법은 주로 Blurry한 반사 제거에 중점을 두어 강한 반사 제거를 종종 실패한다. 그러나 심지어 사람도 실제 반사에서 투과된 장면과 반사된 장면을 완전히 구분하기 어렵다. 이러한 어려운 반사는 360도 영상을 사용하여 제거할 수 있다. 제안하는 방법은 지도 학습을 위한 데이터 수집 부담과 서로 다른 데이터셋 간의 도메인 차이를 피하기 위해 Zero-shot 학습 기법을 사용한다. 먼저 반사 기하학을 기반으로 360도 영상에서 반사된 장면의 참조 이미지를 찾고, 이를 활용하여 네트워크가 반사 영상의 정확한 색상을 복원한다. 어려운 반사를 포함하는 30개의 테스트 360도 영상을 수집하고, 제안하는 방법이 360도 영상에서 최신 반사 제거 기술보다 우수함을 보여준다.

360도 이미지에서는 유리 이미지 영역과 반사된 장면을 캡처하는 참조 이미지 영역이 함께 존재하며, 유리 이미지는 참조 이미지의 정보를 사용하여 복원될 수 있다. 제안하는 방법에서는 360도 이미지에 대한 완전히 자동화된 End-to-end 반사 제거 프레임워크를 최초로 제안한다. 이 프레임워크는 자동으로 유리 및 참조 이미지 영역을 찾아내고 참조 정보를 사용하여 유리 이미지의 반사를 동시에 제거한다. 유리 및 참조 이미지 간의 장거리 종속성(long-range dependency)을 캡처하고 참조 정보를 사용하여 반사를 지우기 위해 Self-attention 메커니즘을 통한 수평 윈도우를 사용하는 트랜스포머 기반 U-Net 아키텍처를 고안한다. 또한 유리 및 참조 이미지 간의 다양한 기하학적 관계 및 조도 변화를 고려하여 현실적인 반사를 합성하여 360도 이미지 학습 데이터셋을 구축한다. 실험 결과는 제안된 방법이 사용자의 개입 없이 효과적으로 유리 및 참조 이미지 영역을 감지하고 최신 기법들과 비교하여 더 나은 반사 제거 성능을 달성한다는 것을 보여준다.

    • Publications
    [1] Byeong-Ju Han and Jae-Young Sim, “Reflection removal using low-rank matrix completion,” in Proc. IEEE CVPR, Honolulu, USA, July 2017. [more]
    [2] Byeong-Ju Han and Jae-Young Sim, “Glass reflection removal using co-saliency based image alignment and low-rank matrix completion in gradient domain,” IEEE Trans. Image Process., vol. 27, no. 10, pp. 4873-4888, Oct. 2018. [more]
    [3] Byeong-Ju Han and Jae-Young Sim, “Single image reflection removal using non-linearly synthesized glass images and semantic context,” IEEE Access, vol. 7, no. 1, pp. 170796-170806, Nov. 2019. [more]
    [4] Byeong-Ju Han and Jae-Young Sim, “Zero-shot learning for reflection removal of single 360-degree image,” in Proc. IEEE ECCV, Tel Aviv, Israel, Oct. 2022.
    [5] Jonghyuk Park, Hyeona Kim, Eunpil Park, and Jae-Young Sim, “Fully-automatic reflection removal for 360-degree images,” in Proc. IEEE WACV, Waikoloa, USA, Jan. 2024.